关键词: 微软,moe,Mixtral 8x7B,Gemini 1.5

MH-MoE 能优化几乎所有专家，实现起来非常简单。

关键词: 小模型,过拟合,Phi-3,Mixtral 8x22B,模型训练

当前最火的大模型，竟然三分之二都存在过拟合问题？

关键词: Mixtral 8x7B,Nous-Hermes 2,Mixtral

Mixtral 8x7B模型开源后，AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B，在主流基准测试中击败了Mixtral Instruct。

关键词: Mixtral 8x7B,Llama,Nous-Hermes-2

从 Llama、Llama 2 到 Mixtral 8x7B，开源模型的性能记录一直在被刷新。由于 Mistral 8x7B 在大多数基准测试中都优于 Llama 2 70B 和 GPT-3.5，因此它也被认为是一种「非常接近 GPT-4」的开源选项。

关键词: Mixtral 8x7B,小参赛模型,Mistral AI,Llama 2

爆火社区的Mixtral 8x7B模型，今天终于放出了arXiv论文！所有模型细节全部公开了。

关键词: Mistral AI,Mixtral 8x7B,GPT-4

前段时间，Mistral AI 公布的 Mixtral 8x7B 模型爆火整个开源社区，其架构与 GPT-4 非常相似，很多人将其形容为 GPT-4 的「缩小版」。

关键词: Mistral AI,chatGPT,Mixtral 8x7B

彭博社报道，Mistral 正在完成 4.87 亿美元的融资，估值 20 亿美元，其中英伟达、Salesforce 参与，a16z 领投。

关键词: MoE,GPT-3.5,Mixtral 8x7B,Llama 2

一条神秘磁力链接引爆整个AI圈，现在，正式测评结果终于来了：首个开源MoE大模型Mixtral 8x7B，已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。